稀疏编码算法是一种无监督学习方法，它用来寻找一组“超完备”基向量来更高效地表示样本数据。稀疏编码算法的目的就是找到一组基向量 ，使得我们能将输入向量表示为这些基向量的线性组合。人眼视觉感知机理的研究表明,人眼视觉系统可看成是一种合理而高效的图像处理系统.在人眼视觉系统中,从视网膜到大脑皮层存在一系列细胞,以“感受野”模式描述.感受野是视觉系统信息处理的基本结构和功能单元,是视网膜上可引起或调制视觉细胞响应的区域.
它们被视网膜上相应区域的光感受细胞所激活,对时空信息进行处理.神经生理研究已表明:在初级视觉皮层下细胞的感受野具有显著的方向敏感性,单个神经元仅对处于其感受野中的刺激做出反应,即单个神经元仅对某一频段的信息呈现较强的反映,如特定方向的边缘、线段、条纹等图像特征,其空间感受野被描述为具有局部性、方向性和带通特性的信号编码滤波器.而每个神经元对这些刺激的表达则采用了稀疏编码原则,将图像在边缘、端点、条纹等方面的特性以稀疏编码的形式进行描述.从数学的角度来说,稀疏编码是一种多维数据描述方法,数据经稀疏编码后仅有少数分量同时处于明显激活状态,这大致等价于编码后的分量呈现超高斯分布.在实际应用中,稀疏编码有如下几个优点:编码方案存储能力大,具有联想记忆能力,并且计算简便;使自然信号的结构更加清晰;编码方案既符合生物进化普遍的能量最小经济策略,又满足电生理实验的结论。
稀疏编码的应用方式有哪些?
近年来,许多神经生理学家在视觉系统上已展开了全面深入的研究,并且取得了一些有重要意义的研究成果.这就使得在工程上利用计算机来模拟视觉系统成为可能.基于这一认识,利用已有的生物学科研成果,联系信号处理、计算理论以及信息论知识,通过对视觉系统进行计算机建模,使计算机能在一定程度上模拟人的视觉系统,以解决人工智能在图像处理领域中碰到的难题.神经稀疏编码算法正是这样一种建模视觉系统的人工神经网络方法。这种算法编码方式的实现仅依靠自然环境的统计特性,并不依赖于输入数据的性质,因而是一种自适应的图像统计方法。
稀疏编码SC方法在盲源信号分离、语音信号处理、自然图像特征提取、自然图像去噪以及模式识别等方面已经取得许多研究成果,具有重要的实用价值,是当前学术界的一个研究热点.进一步研究稀疏编码技术,不仅会积极地促进图像信号处理、神经网络等技术的研究,而且也将会对相关领域新技术的发展起到一定的促进作用。
